pytest-benchmarkでboto3＆motoを含めたClassBasedなコードを計測する方法について試行錯誤してみた

boto3とmotoを利用したコードについてベンチマークを取る場合に、pytest-benchmarkを利用して検証してみました。

#Python

#ベンチマーク

haoyayoi

2019.07.08

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

はじめに

Pythonで定期的にベンチマークを図りたい場合にpytest-benchmarkという選択肢があります。既存のテストに混在させた場合でも、実行時のオプション指定で動作切り分けも可能です。

ただ、pytest-benchmarkをboto3 + moto + ClassBased-Testで利用したケースについては、調べた限りではたどり着くことができませんでした。以下の記事を参考にしつつ、試行錯誤した結果をまとめてみました。

Python: pytest-benchmark でベンチマークテストを書く - CUBE SUGAR CONTAINER

pytest-benchmarkの導入から実行用指定まで

とくに変わった指定はありません。念の為benchmarkだけを動かす前提とします。

導入

pipenv install --dev pytest-benchmark

実行用指定

pytest -v --benchmark-only

boto3 + motoと併用

簡単なサンプルコードを用意してみました。

import pytest
import boto3
from moto import mock_s3

class TestDemoClass:
    
    def setup_class(cls):
        pass
        
    def teardown_class(cls):
        pass
        
    def setup_method(self, name):
        pass
        
    def teardown_method(self, name):
        pass
        
    @mock_s3
    def process_main(self, duration=0.000001):
        # any process
        client = boto3.client('s3')
        ..
        return True
        
    def test_benchmark(self, benchmark):
        ret = benchmark.pedantic(self.process_main, rounds=100, iterations=100)
        assert ret is True

% pytest -v --benchmark-only

================= test session starts =========================
platform darwin -- Python 3.7.3, pytest-5.0.1, py-1.8.0, pluggy-0.12.0 -- /XXXXX/.venv/bin/python3.7
cachedir: .pytest_cache
benchmark: 3.2.2 (defaults: timer=time.perf_counter disable_gc=False min_rounds=5 min_time=0.000005 max_time=1.0 calibration_precision=10 warmup=False warmup_iterations=100000)
rootdir: /XXXXX, inifile: setup.cfg, testpaths: tests/
plugins: benchmark-3.2.2, cov-2.7.1
collected 1 items

test_demo.py::TestDemoClass::test_benchmark PASSED

----------------- benchmark: 1 tests -------------------------
Name (time in ms)         Min      Max     Mean  StdDev   Median     IQR  Outliers      OPS  Rounds  Iterations
--------------------------------------------------------------
test_benchmark        17.7854  30.1732  19.3668  1.2481  19.3553  0.7839       6;1  51.6349     100         100
--------------------------------------------------------------
================= 1 passed in 196.20 seconds ============================

pytest-benchmarkを次の順番で実装・実行しています。